Norris sinh ngày 10 tháng 3 năm 1940 ở Ryan, Oklahoma. Ông là con trai của Ray Norris, một thợ cơ khí, tài xế lái xe buýt và xe tải[6]. Norris có một phần dòng máu người Anh, một phần nhỏ của người Scotland, xứ Wales và Đức, ông cũng thừa nhận bản thân mình có nguồn gốc của người Cherokee.[2][7][8] Norris được đặt tên dựa theo tên của Carlos Berry, mục sư của người cha của ông[9]. Ông có hai anh em trai, Wieland (đã chết) và Aaron (một nhà sản xuất của Hollywood). Khi Norris mười sáu tuổi, cha mẹ ly dị,[10] ông chuyển đến Prairie Village, Kansas và sau đó là Torrance, California, cùng với mẹ và những người em của mình.[2]

Ông mô tả cuộc sống thơ ấu của mình buồn tẻ, ông là một đứa trẻ phi thể thao (nonathletic), nhút nhát, một con mọt sách tầm thường và là một học sinh trung bình. Những đứa trẻ khác chế giễu ông về sắc tộc hỗn hợp của mình, và ông bắt đầu mơ mộng về việc đánh bại những kẻ hành hạ mình[11]. Norris đã đề cập trong một cuốn tự truyện của mình rằng cha ông là một người nghiện rượu và ít khi gần gũi khi ông lớn lên, ông thừa nhận rằng ông yêu cha mình nhưng không thích cách sống của cha.

Ông gia nhập Lực lượng Quân cảnh trực thuộc Không quân Hoa Kỳ vào năm 1958 và đã được gửi đến căn cứ không quân Osan, Hàn Quốc. Tại đây, ông bắt đầu có biệt danh Chuck, và bắt đầu luyện tập môn Tang Soo Do (tangsudo) với sự quan tâm đặc biệt qua kết quả đạt đến đai đen của môn võ và bắt đầu hình thành nền móng cho Chun Kuk Do, môn võ mà ông sáng tạo ra.[12] Trở về Hoa kỳ, ông tiếp tục phục vụ trong lực lượng quân cảnh tại Căn cứ Không quân March, California.

Norris được giải ngũ vào tháng 8 năm 1962. Ông làm việc cho Northrop Corporation và mở ra một chuỗi các trường học karate, trong đó bao gồm một lớp học ở Hawthorne Boulevard, Torrance, nơi sau này là quê nhà của ông. Trên trang web của Norris có liệt kê danh sách các học viên nổi tiếng trong các trường học của mình, trong đó bao gồm Steve McQueen, Chad McQueen, Bob Barker, Priscilla Presley, Donny Osmond và Marie Osmond.[13]